iT邦幫忙

2023 iThome 鐵人賽

DAY 17
1
AI & Data

初次抓舉AI的世界系列 第 17

評估指標 D2 - ROC curve 與 PR Curve

  • 分享至 

  • xImage
  •  

在一個二元分類模型中,我們的目標是預測兩個可能的結果之一,但在一般情況下,模型不會直接輸出 0 或 1 以確定分類,而是會為每個可能的分類輸出一個機率值,然後這些機率值通常會通過應用諸如 softmax 之類的函數來轉換成機率分佈,這樣做的好處是我們就可以根據任務的需求設定一個閾值(threshold),當預測機率大於閾值時,就將資料點歸類為正例,否則歸為負例。
因此,透過選擇不同的閾值,就可以得到不同的分類結果,這樣的情況下,ROC curve 和 PR Curve 就派上了用場,它可以用來比較不同模型在不同閾值設定下的表現


ROC Curve(Receiver Operating Characteristic Curve)

是一種用於評估分類模型效果的圖表,它由兩個關鍵指標組成,分別是 FPR(假陽性率,False Positive Rate)和 sensitivity(真陽性率,True Positive Rate)

  • FPR:由於比較關心正樣本,所以需要查看有多少負樣本被錯誤地預測為正樣本,所以會使用 1 – specificity,而不是 specificity

ROC Curve 的建構過程中,關鍵在於閾值的設定,閾值會決定什麼樣的模型輸出將被視為正例或負例,而為了畫出完整的 ROC Curve,就會需要遍歷從 0 到 1 之間的各種閾值,然後計算對應的 FPR 和 TPR 值,再將這些組合繪製在座標系中,最後 ROC Curve 就完成了

ROC Curve 一定會經過的兩個特殊點:(0, 0)和(1, 1)

  • 在(0, 0)點,閾值被設定得非常高,導致所有樣本都被分類為負例
  • 在(1, 1)點,閾值被設定得非常低,導致所有樣本都被分類為正例

ROC Curve 的優點是它對於類別分佈的變化不敏感,因為 ROC Curve 的指標 FPR 和 TPR 都是比例值,所以不會依賴類別擁有的資料數量
另外,ROC Curve 也可以用來幫助選擇適當的閾值,不同的應用可能對假陽性和假陰性的衡量有不同的需求,ROC Curve 這時就可以幫助我們視覺化這種衡量,從而選擇最合適的閾值,以滿足特定任務的要求


PR Curve(Precision-Recall Curve)

PR Curve 參考了 ROC Curve 的功能,由 Recall 與 Precision 所組成,它比較適合用於類別分佈不平衡的狀況,因為在類別不平均的情況下(負樣本較多),FPR 的成長會被負樣本的數量稀釋,導致 ROC Curve 呈現過度樂觀的結果,PR Curve 透過使用 Precision 和 Recall 這兩個更適合不平衡資料的指標,提供了更準確的效能評估


上一篇
評估指標 D1 - Confusion Matrix
下一篇
評估指標 D3 - 其他常見評估指標
系列文
初次抓舉AI的世界30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言